Algemeen wordt aangenomen dat het kasteel van Herlaer, ook wel "Hof ten Hove" genoemd, werd opgetrokken na de slag van Woeringen eind 13de eeuw, hoewel sommige literatuurbronnen de grondvesten laten opklimmen tot de 10de eeuw. Van de nabijgelegen watermolen die op de Wimp, een bijrivier van de Grote Nete, is gebouwd, werd in 1462 melding gemaakt.
Het kasteel, een dubbel omgracht waterslot, was tot de 15de eeuw eigendom van de familie van Herlaer, op hun beurt verwant met de heren van Berlaar en nog vroeger met de Berthouts. Het domein en heerlijkheid van Herlaer kwam vervolgens in het bezit van de familie van Vriesele. Uit het huwelijk van een dochter van deze familie met Pieter van Brimeu, heer van Poederlee, werd Catharina geboren. Zij huwde in 1497 met Adriaan Sandelyn, die het kasteel, dat toen een ruïne was, liet heropbouwen. 
In 1684 wordt het kasteel eigendom van de familie van Reynegom, een adellijke familie van rijke grondeigenaars en bouwheren van het huidige slot die lang een politieke rol speelde in Herenthoutse dorpsleven.
Het huidige uitzicht, in traditionele bak- en zandsteenstijl met sterke niet-traditionele aanpassingen, is het resultaat van een verbouwing in 1704 en een aantal ingrepen in de tweede helft van de 19de eeuw.
Het kasteeldomein van Herlaer en de watermolen zijn sinds 1986 beschermd als dorpsgezicht en monument.